Nợ của thái tử cứ chồng chất lên, và cha ông từ chối trợ cấp cho ông nếu ông không cưới cô em họ là Caroline xứ Brunswick.[24] Năm 1795, thái tử ưng thuận; và họ kết hôn ngày 8 tháng 4 năm 1795 tại Nhà nguyện hoàng gial, Cung điện St James. Cuộc hôn nhân, tuy nhiên, là một điều tệ hại; cả hai người đều không hợp với nhau. Họ chính thức li thân sau khi một đứa con chào đời, Công chúa Charlotte, năm 1796. Thái tử vẫn qua lại với Maria Fitzherbert trong phần lớn thời gian còn lại của cuộc đời, mặc dù có nhiều lúc ghẻ lạnh.[25]

Các tình nhân của George bao gồm Mary Robinson, một đào hát đã được ban một khoản trợ cấp khá hào phóng khi bà ta đe dọa sẽ công bố bức thư của ông lên báo chí;[26] Grace Elliott, người vợ đã lu hôn của một thầy thuốc;[27] và Frances Villiers, Bá tước phu nhân Jersey, người từng chi phối ông trong một vài năm.[25] Lúc về già, tình nhân của ông là Nữ hầu tước Hertford và Nữ hầu tước Conyngham, tất cả họ đều từng kết hôn với các quý tộc.[28]

George được đồn đại là có rất nhiều con ngoại hôn. James Ord (sinh 1786) — người đã di cư sang Mỹ và trở thành một linh mục dòng Tên đã được cho là con trai của ông với Fitzherbert.[29] Nhà vua, vào những năm cuối đời, đã nói với một người bạn rằng ông có một đứa con trai làm sĩ quan hải quân của Tây Ấn, danh tính của người này thì người ta dự đoán đó là Thuyền trưởng Henry A. F. Hervey (1786–1824), theo điều tra là con của George với nhạc sĩ Lady Anne Lindsay (sau là Barnard), con gái của Bá tước thứ 5 xứ Balcarres.[30] Một báo cáo khác rằng con cháu của ông bao gồm Major George Seymour Crole, con trai của con gái quản đốc rạp hát Eliza Crole hoặc Fox; William Hampshire, con trai của Sarah Brown; và Charles "Beau" Candy, con trai với một phụ nữ Pháp và ông này mang họ mẹ.[31] Anthony Camp, Giám đốc nghiên cứu tại Society of Genealogists, đã bác bỏ những tuyên bố rằng George IV là cha của Ord, Hervey, Hampshire và Candy, cho những chuyện đó là hư cấu.[32]

Vấn đề nợ của Hoàng tử xứ Wales, tổng cộng vào thời điểm cao nhất là £630,000 (tương đương với £59.733.000 ngày nay[12]) vào thời điểm 1795,[33] đã được giải quyết (ít nhất là tạm thời) bởi Nghị viện. Không muốn cung cấp cho ông đủ tiền để xóa hết nợ, họ chỉ tăng trợ cấp thêm cho ông là £65,000 (tương dương với £6.163.000 hiện nay[12] mỗi năm).[34] Năm 1803, được cộng thêm £60,000 (tương đương với £5.028.000 hiện nay[12]), và các khoản nợ của George năm 1795 đã được trả xong vào năm 1806, mặc dù các khoản nợ sau năm 1795 vẫn còn đó.[14]

Năm 1804, một cuộc tranh chấp phát sinh về vấn đề nuôi dưỡng Công chúa Charlotte, dẫn đến việc cô được đặt dưới sự trông nom của Nhà vua, George III. Nó cũng dẫn đến việc Nghị viện mở ủy ban điều tra về các hành vi của Công nương Caroline sau khi Hoàng tử xứ Wales cáo buộc bà có một đứa con ngoại hôn. Theo kết quả điều, tra, Caroline không bị kết án nhưng người ta vẫn khám phá ra các hành vi thiếu thận trọng của bà.[35]